UNLOCK 02 · 내 자료를 아는 AI 만들기 1. 내 자료를 아는 AI 만들기 · 0–1분 AI 채팅창 아래에 늘 붙어 있는 작은 글씨를 가리키며 시작해요. 오늘 두 시간은 이 한 줄을 실제로 해 보는 시간이에요. 2. 오늘은 AI의 답을 채점해요 · 1–2분 오늘은 내 자료를 매번 다시 주지 않아도 되는 작업 공간을 만들어요. 그리고 AI가 낸 답을 내가 채점해요. 1회차를 듣지 않은 분도 같은 시작 폴더에서 출발해요. AI는 왜 그럴듯하게 틀릴까요 3. 세종대왕은 왜 맥북을 던졌을까요? · 2–4분 질문만 띄우고 잠깐 이야기를 들어요. 아직 답을 보여 주지 마세요. 질문에 깔린 전제를 알아챈 분이 있으면 먼저 말하게 해요. 한 번 더 넘기면 종료 창이 떠요. 이 문구는 뒤에 나올 수업용 패러디에서 다시 만나요. 4. 2023년의 AI는 이렇게 답했어요 · 4–5분 2023년 3월 뉴스1이 같은 질문으로 두 모델을 비교한 보도예요. 당시 모델은 없는 사건을 실제 일처럼 설명했어요. 한 번 더 넘기면 싫어요 버튼이 눌려요. 뉴스1 · 2023년 3월 15일 비교 보도 https://v.daum.net/v/20230315103643914 5. 지금 물어보면요? · 4–5분 학생들 폰의 답을 두세 개 들어 봐요. 현장의 답은 달라질 수 있어요. 오답이 나와야만 성립하는 시연이 아니에요. 지금의 모델이 전제를 어떻게 다루는지 보는 게 목적이에요. 같은 보도에서 새 모델은 시대가 맞지 않는다고 짚었어요. 뉴스1 · 2023년 3월 15일 비교 보도 https://v.daum.net/v/20230315103643914 6. 어디서부터 할루시네이션일까요? · 5–9분 같은 문장이 두 번 나와요. 어느 쪽이 할루시네이션인지 먼저 물어보고, 마지막에 배지를 공개해요. 풍자를 부탁받고 지어낸 건 창작이에요. 실록에 있냐는 질문에 없는 기록을 인용하면 할루시네이션이에요. 두 답은 설명용으로 만든 예시예요. 7. 할루시네이션 · 9–10분 여기서 처음 정의를 줘요. 언어 모델은 다음에 올 말을 예측하며 배워요. 잘 이어지는 문장도 사실과 어긋날 수 있어요. 출처가 없는 답이 전부 거짓인 건 아니에요. 원문을 열고 주장과 대조하는 습관이 핵심이에요. OpenAI · Why language models hallucinate https://openai.com/index/why-language-models-hallucinate/ 8. 왜 모르겠다고 안 할까요? · 10–12분 모델 안에는 ‘정보가 부족하다’는 반응이 기본으로 켜져 있어요. 익숙한 이름을 알아보는 신호가 이 반응을 눌러요. 이름은 아는데 세부 사실은 모를 때, 그럴듯한 설명이 만들어져요. 세종대왕도 알고 맥북도 안다고 해서 둘 사이의 사건까지 아는 건 아니에요. 이 연구가 세종대왕 사례를 직접 추적한 건 아니에요. 두 현상을 잇는 예시로만 써요. Anthropic · Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model 9. 어느 비서를 뽑으시겠어요? · 12–16분 먼저 정답률만 보고 손을 들게 해요. 넘기면 오답률과 보류율이 나와요. 수강생이 스스로 선택을 바꾸게 하는 장면이에요. 보류는 ‘모르겠다’고 답한 비율이에요. 이 수치는 이 평가 하나의 값이에요. OpenAI · Why language models hallucinate https://openai.com/index/why-language-models-hallucinate/ 10. 모르는 문제, 3번으로 찍어 본 분? · 16–18분 정답만 점수를 주는 시험에서는 모를 때 비워 두는 것보다 찍는 편이 유리해요. 모델을 평가하는 방식도 비슷했다는 게 OpenAI의 설명이에요. 그래서 요즘은 ‘모른다’고 답하는 능력을 따로 평가해요. 우리도 AI가 ‘자료에 없어요’라고 하면 좋은 답으로 채점해요. OpenAI · Why language models hallucinate https://openai.com/index/why-language-models-hallucinate/ 11. 자료를 주면, 이제 믿어도 될까요? · 18–20분 수업을 위해 쓴 풍자 원문이에요. 앞에서 본 종료 창 문구가 여기 들어 있어요. 전하는 던지지 않고 저장을 눌렀어요. 학생 한 분에게 소리 내어 읽어 달라고 해요. 첫 줄과 마지막 줄은 아직 짚지 않아요. 12. 포트에게 물어봐요 · 대본의 문구 · 20–23분 파일을 붙이고, 자료 안에 답이 있는 질문을 해요. 넘길 때마다 입력, 전송, 원문 대조 순서로 진행돼요. 기본은 배포된 원문 파일을 실제로 읽어 보여 주는 시연이에요. 오른쪽 위에서 STUDIO 포트를 연결하면 실제 포트의 답으로 바뀌어요. 학생 한 명이 원문을 직접 열어 대조하게 해요. 13. 포트에게 물어봐요 · 실록의 출처 · 23–26분 이번에는 자료 바깥의 질문이에요. 패러디 파일은 역사적 출처가 될 수 없어요. 원문 마지막 줄을 학생이 직접 읽고 두 답을 채점하게 해요. 에이전트가 읽었다고 한 파일을 내가 직접 열어 보는 것까지가 오늘의 습관이에요. 14. 방금 본 게 RAG예요 · 26–28분 방금 포트가 한 일에 이름을 붙여요. 질문에 필요한 문장을 파일에서 찾아 답의 재료로 썼어요. 자료를 찾아 생성에 쓰는 방식이 RAG예요. Anthropic · Contextual Retrieval https://www.anthropic.com/news/contextual-retrieval 15. 찾았다고 사실이 되진 않아요 · 28–29분 “방금 찾은 파일의 첫 줄, 뭐라고 쓰여 있었죠?” 하고 물어봐요. 저장해 뒀다고 자동으로 사실이 되는 건 아니에요. 출처가 수업 패러디라면 역사의 증거로 쓸 수 없어요. 16. 파인튜닝과는 뭐가 다를까요? · 29–30분 RAG는 답할 때 자료를 찾는 방식이에요. 파인튜닝은 좋은 입력과 출력 예시로 모델을 추가 학습시키는 방식이에요. 오늘 실습은 모델을 재훈련하지 않아요. 오늘 바뀐 사실은 원본을 고치고 다시 읽게 하면 돼요. 내 컴퓨터에 작업 공간 열기 17. 그 파일, 어디 있었을까요? · 30분 “폰의 AI에는 없고 방금 포트에게는 있던 게 뭐였죠? 파일이에요.” 이제 그 파일이 놓인 곳을 각자 컴퓨터에서 찾아가요. 18. 폴더 하나를 열어요 · 30–37분 개인 노트북은 Codex를 설치하고 로그인한 뒤 압축을 풀고 폴더를 프로젝트로 열어요. 학원 PC는 준비된 앱과 폴더에서 시작해요. A와 B 어느 ZIP으로 해도 돼요. 열고 나면 “자료 폴더의 파일 이름을 보여줘”라고 한 번 보내 보게 해요. Codex · 시작하기 https://developers.openai.com/codex/quickstart/ 19. 주소를 읽어 볼까요? · 37–41분 넘길 때마다 주소의 한 칸씩 불이 켜져요. 각자 화면에서 같은 파일을 찾아가며 프로젝트, 폴더(디렉터리), 파일, 경로를 익혀요. 프로젝트를 열었다고 모든 파일을 이미 읽은 건 아니에요. 질문할 때 필요한 원문을 실제로 읽어야 해요. 20. 여는 건 프로그램, 읽는 건 모델 · 41–45분 프로그램이 파일을 여는 장면과 모델이 읽은 내용으로 답하는 장면을 나눠서 봐요. Codex 화면에서 파일을 읽는 표시가 뜨는 순간을 같이 찾아봐요. 시간이 남으면 뒤에서 이 왕복에 function calling이라는 이름을 붙여요. 21. 한 파일, 창은 두 개 · 45–52분 압축을 푼 폴더를 옵시디언 보관함으로 열어요. Codex와 옵시디언이 같은 Markdown 파일을 보여 줘요. 화면에서 먼저 보고, 실제 앱에서 메모 한 줄을 고쳐 봐요. 고친 뒤 Codex에게 바뀐 문장을 찾아 달라고 해요. Obsidian · 노트 저장 방식 https://help.obsidian.md/data-storage 22. 폰에서 연 건 어느 쪽일까요? · 52–60분 노션에 손으로 복사해 둔 공유본을 폰으로 여는 상황이에요. 원본을 바꾸기 전과 후, 공유본을 다시 옮기기 전과 후를 비교해요. 웹은 브라우저로 접근하는 방식이고, 클라우드는 서비스 쪽의 저장과 처리 환경이에요. 로컬은 내 기기의 파일 위치예요. Notion · 파일 가져오기 https://www.notion.com/help/import-data-into-notion 내 지식 저장소 만들고 시험하기 23. 이제, 내 폴더에서 · 60분 뒤 한 시간은 실습이에요. 학원 PC를 쓰는 분도, 오늘 처음 온 분도 A 또는 B 시작 자료를 바로 열 수 있어요. 24. 어디서 시작할까요? · 60–65분 A와 B는 독립 실습이에요. 각자 맞는 쪽 하나를 골라요. 어느 쪽이든 원문을 열어 확인하고, 모르는 부분을 구분하는 같은 기준으로 마쳐요. 25. A. 폴더로 시작하기 · 65–100분 · 선택 A 파일의 역할을 직접 확인한 뒤 Codex에 요청해요. 원본은 보존하고 결과 폴더에 초안을 만들어요. 확인된 사실, 근거 문장, 아직 모르는 정보를 따로 적게 해요. 26. B. 내 보관함 만들기 · 65–100분 · 선택 B A를 마치지 않아도 돼요. B ZIP만 풀어 보관함으로 열고 내 판단 기준을 적어요. Codex가 그 기준을 적용하는지 확인한 다음, 노션에 공유용 사본을 옮기고 폰으로 열어요. 27. 새 대화에서도 될까요? · 100–108분 실습에서 쓴 프로젝트에 새 대화를 열어요. 답할 수 있는 질문 하나, 자료만으로는 확인할 수 없는 질문 하나를 짝이 골라 줘요. 제목이나 단정적인 말투만 보고 채점하지 않아요. 파일을 열어 문장을 확인해요. 28. 원본 한 줄을 고치면요? · 108–115분 장소만 바뀐 변경 확정서를 반영해요. 이 시점에 ZIP의 ‘나중에 열기’ 폴더를 열어요. 시간과 주차 정보는 그대로인지 확인해요. 변경 제안(아직 확정 아님)과 변경 확정을 구분하는지도 같이 봐요. 29. 내 비서의 답을 채점해요 · 115–120분 학생이 직접 파일을 열어 세 가지를 확인해요. 마지막 줄에는 다음 대화에서도 지킬 판단 기준을 써요. 각자 A4 필기노트에 기록해요. 더 알아보기 (여유 시간) 30. 방금 한 일에 이름 붙이기 · 여유 시간 선택 꼭지예요. 진행에 여유가 있을 때만 열어요. 방금 본 장면을 되감아 이름을 붙이고, 방금 쓴 규칙을 파일로 남기는 법을 짧게 소개해요. 31. 모델은 파일을 못 열어요. 부탁할 뿐이에요 · 여유 시간 포트 시연을 되감아요. 모델이 ‘파일을 읽어 달라’고 도구 호출을 요청하고, 프로그램이 실행해 값을 돌려주고, 모델이 그 결과로 답해요. 도구 이름 read_file은 설명용 예시예요. 실제 이름은 프로그램마다 달라요. 32. 매번 하는 잔소리는, 파일로 · 여유 시간 방금 필기노트에 쓴 ‘다음에도 적용할 규칙’을 둘 수 있는 곳이에요. AGENTS.md에는 프로젝트에서 지킬 작업 지침을 적어요. Codex · AGENTS.md https://developers.openai.com/codex/guides/agents-md/ 33. 잔소리는 AGENTS.md, 레시피는 SKILL.md · 여유 시간 Skill은 특정 일을 반복할 때 쓸 절차를 폴더 하나에 담은 거예요. SKILL.md의 머리말(name, description)만 평소에 알고 있다가, 그 일이 필요해지면 본문을 읽어요. 본문을 읽는 방법이 바로 앞에서 본 도구 호출이에요. 예시 스킬 ‘답-채점하기’는 설명용으로 만든 거예요. 스킬 예시 · GitHub https://github.com/openai/skills 34. 이 파일들은 어디에 둘까요? · 여유 시간 GitHub는 파일과 변경 기록을 함께 보고 공유하는 곳이에요. 누가 언제 무엇을 바꿨는지 남아서, 파일 이름에 버전을 붙일 필요가 없어요. 링크에서 실제 스킬 폴더 구조를 한 곳 열어 봐요. 오른쪽 저장소는 설명용 예시예요. 스킬 예시 · GitHub https://github.com/openai/skills 마무리 35. 내일은 어떤 파일에서 시작할까요? · 마무리 원문과 내 판단 기준을 다음 대화에서도 쓸 수 있게 남겨 둬요. 휴대폰 원격 지시와 로컬, 네트워크 환경의 원리는 다음 회차에 다뤄요.